Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
🧭 LLM 多教师蒸馏与 MoE 执行加速 ★ 深度解读
Foundation Model Team, XPeng Inc.
提出校准多教师在线蒸馏（C-MOPD）与动态 MoE 执行优化，四域能力整合分数达 0.9988 并实现 2.86 倍步骤加速
📌 工作参考价值（4 点）
- 多任务/多场景模型统一：电商搜索/推荐常需同时优化相关性、点击率、GMV、内容质量等多个目标。可仿照 C-MOPD，先对每个目标/场景独立训练 RL specialist，再用多教师在线蒸馏整合到单一学生模型；冻结教师 + 学生在线 rollout 能缓解 exposure mismatch，保留各域增益。
- 蒸馏 loss 校准：不同任务的 token-level loss 尺度往往差异大，直接加权容易让大尺度任务主导。C-MOPD 的 teacher-wise loss-scale normalization（对每个 teacher 的 token losses 求标准差并做缩放、裁剪）简单有效，可在多目标蒸馏、Agent 多能力整合中直接使用，降低调参成本。
- 生成式推荐中的 Top-K 匹配：对于生成式 item token / semantic ID 的蒸馏，只匹配 teacher 的 Top-K token 分布可以避免学生被迫学习不相关长尾 token，减少计算和训练不稳定；同时 teacher-local renormalization 确保 student 的概率质量集中在有效支持内。
- 动态 MoE 训练/推理优化：如果业务模型采用动态 MoE（token 自适应专家数），RW32 这样的 width bounding 加 final-route replay 可保证训练与推理 router 一致性，减少显存和通信开销；异步 rollout 与 actor 更新重叠是通用的 RL 训练加速手段，可迁移到大规模 Agent/推荐 RL 训练。
非对称动态路由：平衡超图RAG中的推理深度与计算效率
🧭 查询自适应超图RAG路由
School of Software Engineering, Xi’an Jiaotong University · State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University · EHV Power Transmission Company of China Southern Power Grid Co., Ltd
提出意图条件路由框架ADR，用轻量分类器动态调度三种非对称拓扑遍历算子，减少48.7% token和45.3%延迟
📌 工作参考价值（4 点）
- 在电商知识问答/导购Agent中，对用户query做轻量意图分类：事实型查询（如“某商品材质”）走局部事实锚定，减少全图遍历；对比/推荐理由类查询走自底向上邻接扩散，获取关联实体；策略/选品建议类查询走自顶向下洞察接地，引入高层抽象知识。
- 可复用“非对称遍历算子”设计：不同意图对应不同图计算代价，避免静态RAG对所有查询执行同等深度检索，显著降低prompt token和端到端延迟，适合高并发在线推荐场景。
- 若已有商品知识图谱或用户-商品异构图，可参考ADR的层次路由思路：在召回/排序前置一个轻量分类器，动态决定图扩散深度与方向，平衡效果与算力，尤其利于边缘部署或成本敏感业务。
- 结果表明动态路由能在保持推理质量前提下节省近50% token，对依赖LLM做导购解释、推荐理由生成的业务，可降低API成本并提升响应速度。
MACRO：基于马尔可夫链的Transformer层路由
🧭 动态层路由优化推理
Heinrich Heine University Düsseldorf · Jagiellonian University · IDEAS Research Institute
不修改模型参数，通过马尔可夫链学习任务特定层路由，精度+5.0%，搜索时间降低9.4倍
📌 工作参考价值（4 点）
- 动态层路由可作为在线模型服务的推理加速手段，根据查询或上下文的复杂度自适应选择执行层数，在搜索推荐系统中平衡延迟与效果。
- 路由策略以马尔可夫链形式外挂于预训练模型，无需修改原始权重，便于在已有LLM上快速实验与部署。
- 利用top-k Viterbi解码生成高概率候选路径，可借鉴用于Agent多步推理中对执行路径的规划与剪枝。
- 将计算预算分阶段建模，可控制推理成本，适合在流量波动下动态调整资源分配，如大促时保障核心服务。
后训练MoE可通过自蒸馏跳过半数专家
🧭 动态MoE推理加速 · 自蒸馏适配 ★ 深度解读
Tsinghua University · Shanghai AI Lab · WeChat AI · Kuaishou Technology · Frontis.AI
注入零输出专家并两阶段自蒸馏，将静态MoE转为动态，消减超50%专家计算且精度损失极小
📌 工作参考价值（4 点）
- 部署加速：已在线服务的 MoE 模型可直接注入零专家并通过自蒸馏转为动态路由，无需重新预训练，降低推理 FLOPs 和耗时，适合电商对话、Agent 等对延迟敏感的场景。
- 稳定迁移：组级辅助损失（L_GA）仅在普通专家与零专家组之间施加平衡，保留原模型内部路由分布，避免能力坍塌，这一 trick 可复用于其他需要引入“跳过”选项的 MoE 微调。
- 蒸馏策略：SFT + OPD 的两阶段设计先驯化路由再对齐分布，比单阶段更稳定；OPD 使用学生自身 rollout 并由教师提供 token 级目标，缩小训练-推理分布差异。
- 计算分配信号：零专家激活率与师生 logp 差、模型熵高度相关，而与任务难度解耦，可据此设计基于置信度的动态推理策略。
BEAM：通过二值掩码实现MoE动态专家路由
🧭 LLM ★ 深度解读
Alibaba Group · Peking University
提出BEAM，学习二值掩码实现token自适应专家稀疏激活，保留98%性能，MoE层FLOPs减85%，解码加速达2.5倍
动态潜路由：低数据微调下搜索残差流引导码
🧭 LLM ★ 深度解读
Thoughtworks AI Labs
通过搜索离散潜码作为残差流 steering 向量，DLR 在低数据微调中联合学习模型与路由策略，平均超出 SFT 6.6 个百分点